Tư Mã Phi sinh năm 341 dưới thời trị vì của cha là Tấn Thành Đế, và là đại hoàng tử. Mẹ là Chu quý nhân, đến năm 342, bà tiếp tục hạ sinh hoàng tử Tư Mã Dịch. Vào mùa hè năm 342, Thành Đế lâm bệnh. Hà Sung (何充) chỉ ra rằng đại hoàng tử nên là người kế vị, song thúc phụ đằng ngoại của Thành Đế là Dữu Băng (庾冰), muốn vị hoàng đế mới vẫn sẽ có mối liên hệ thân thuộc với gia tộc của mình nên đã thuyết phục Thành Đế truyền ngôi cho hoàng đệ là Lang Da vương Tư Mã Nhạc, cũng là một người con trai của Thái hậu Dữu Văn Quân, ông luận rằng do kình địch Hậu Triệu ở phương bắc đang mạnh, đế quốc cần một vị hoàng đế trưởng thành. Thành Đế chấp thuận và chỉ định Tư Mã Nhạc làm người kế vị, Thành Đế mất không lâu sau đó và Tư Mã Nhạc lên ngôi. Tư Mã Phi khi ấy mới một tuổi được lập làm Lang Da vương. Ông tiếp tục giữ chức vụ này sau khi Khang Đế mất vào năm 344 do Khang Đế truyền ngôi cho con ruột của ông là Tư Mã Đam. Không rõ ông đã kết hôn với Vương Mục Chi vào khoảng thời gian nào.